野外销售:基于460万商业对话微调的销售Agent基准与随机现场实验
🧭 对话式销售Agent训练与在线随机实验 ★ 深度解读
Javo, AISO Boost Ltd.
用460万真实商业对话微调Qwen3-32B销售Agent,在100个网站随机试验中比无Agent提升10%收入,比前沿模型提升21.6%转化
📌 工作参考价值(4 点)
- 真实商业对话微调是提升销售/导购Agent业绩的关键:SFT学完整对话(需求挖掘、推荐、异议处理、下一步提议),DPO用购买进展信号做偏好优化;可直接迁移到电商客服、导购对话训练。
- 模型隔离评估设计值得借鉴:固定界面、检索、工具、prompt、guardrails,只换模型权重,才能干净归因训练数据的价值;业务方上线Agent前应做类似消融。
- 在线实验协议可复用:ITT收入/访客 + engaged conversion + 非劣性对比人工 + 安全守卫指标(退货率、投诉、未支持声明、未授权优惠),并采用CUPED、sample ratio check、顺序检验等。
- 成本效率结论:对话Agent推理成本仅为人工的1.8%(0.06美元 vs 3.40美元),且转化非劣性,可优先在咨询密集品类(美妆、家具、旅游)部署自动化销售助手。
门控记忆:面向对话 AI 的准入控制式记忆形成
🧭 对话 AI 长期记忆写入的准入控制与上下文绑定
Samsung Research America
在记忆写入前增加准入门控与条件增强,使事实形成质量成为可测量的记忆约束
📌 工作参考价值(4 点)
- 在客服/导购 Agent 的记忆模块中,写入用户画像前增加 admission gate,区分永久属性(如“我有糖尿病”)与临时状态(如“今天想买无糖零食”),避免 transient 信息污染长期记忆。
- 对写入的每条事实记录 provenance(直接陈述/推断)与适用条件,并做实体范围约束:禁止写入上下文中未出现的实体,可减少 LLM 抽取幻觉带来的记忆污染。
- 将事实分解为原子事实并带时间/地点锚定,可支持后续检索时的时效性过滤和条件匹配,适合电商场景中需要根据“最近偏好”做推荐的系统。
- 轻量、模块化设计,可作为现有 RAG/记忆管线的独立中间层,不改变检索和生成即可验证记忆形成质量收益。
可解释性助手:用于解读能耗模型的对话式XAI接口
🧭 对话式XAI · LLM Function Calling
Nupp Software · Institute of Computer Science, University of Tartu · Apintech Ltd, POLIS-21 Group · Department of Mechanical Engineering, Hellenic Mediterranean University
用LLM function calling替代自定义语法,实现94%意图解析准确率的对话式可解释AI系统
📌 工作参考价值(4 点)
- 用 LLM function calling 替代 custom grammar / 意图分类器做 NLU,意图解析准确率从 76.8% 提到 94%;在做推荐系统诊断、模型解释、运维助手的对话式 Agent 时可直接复用,避免为每个意图维护固定语法。
- 把 LIME、SHAP、反事实等解释能力封装成 function schema,让 LLM 在对话中动态选择工具,适合嵌入内部调试或面向业务人员的模型解释界面,减少对技术背景的依赖。
- 评估方法可借鉴:邀请领域专家对比传统 dashboard 和对话式界面,既测任务完成一致性也测主观偏好;业务上线前用少量专家做可用性评估,比单纯离线指标更有说服力。
- 该工作面向能源预测,推荐算法本身无直接迁移价值,主要贡献在对话式 XAI 的工具编排与交互层。
长期人机对话记忆评估:从直接追问到自然整合的 MemUse
🧭 LLM 长期对话记忆评估
Graduate School of Informatics, Kyoto University
发现直接问答记忆准确率与用户满意度无关,提出自然整合评估基准 MemUse,揭示 71 点巨大差距
📌 工作参考价值(4 点)
- 在电商导购/客服 Agent 中,长期记忆评估不要只看「直接提问能否答对」(Direct QA),这类指标与用户满意度可能无相关;应在真实对话流中挖掘「记忆时刻」,评估模型是否在自然回复中主动且恰当地融入历史信息。
- 建立集成感知的自动化评估:对每个记忆时刻,用 LLM-as-judge 检查回复是否自然引用了相关历史事实(而不是仅仅能否回答事实问题);该指标与满意度相关性更强,可用于回归测试。
- 检索增强记忆系统往往只优化 top-k 准确率,但可能存在高检索准确、低实际使用的问题;可通过「引用率」等下游指标暴露该 gap,指导改进方向:不仅提升检索命中,还要提升相关性检测和上下文融合能力。
- 直接 QA 准确率从 19.7% 到 70.1% 变化,但满意度无显著差异,提示团队在迭代记忆模块时不要过度依赖离线 QA 基准,要做用户满意度 A/B 测试或应用内行为指标。
CogChat:异构知识图谱增强设计对话 AI 的认知接地
🧭 知识图谱增强对话 · 异构 Graph Transformer
Design AI Lab, Hanyang University · Human-Centered AI Design Institute, Hanyang University
用个人异构知识图谱 + HGT 选择相关节点注入 LLM,提升设计对话的上下文保留与个性化意图理解
📌 工作参考价值(5 点)
- 面向电商/广告/搜索推荐场景的可借鉴点:
- 用户级动态知识图谱做长程上下文:在客服/导购/创意 Agent 中,实时从对话里抽取实体(商品、属性、类目、偏好)与关系,构建个人异构图谱,替代仅依赖 sliding window 的上下文;用 HGT 或轻量图注意力做子图选择,避免全量 KG 造成 prompt 噪声和延迟。
- 同名词/多义词消歧:异构图中实体类型和关系结构可区分同一词在不同上下文(如“苹果”作为品牌或品类),适合电商搜索 query 理解与个性化召回;将图结构注入 LLM 可提升意图识别准确率。
- 主动探测问题生成:借鉴 CogChat 同时生成 intentional 和 exploratory probing questions 的机制,在推荐对话中用于偏好澄清、query 改写建议(如“你指的是 A 还是 B?”),降低用户决策负担并收集偏好信号。
- 工程实现:可用轻量抽取器构建图,HGT 只负责节点打分与选择,LLM 负责最终生成,保持低延迟;先在特定垂直领域(服装、家居、3C)试点,注意图谱更新频率和图谱规模控制。
鸡尾酒交谈者:噪声社交环境下的多说话人对话建模与回复动作强化学习
🧭 语音对话 Agent · 回复时机决策
Columbia University · University of Washington · University of Illinois Urbana-Champaign
用三个动作令牌(回应/倾听/忽略)与 GRPO 强化学习,让语音助手自主决定是否开口
📌 工作参考价值(4 点)
- 多轮对话中的回复节制:电商客服或语音助手可引入 <respond>/<listen>/<ignore> 动作令牌,避免在不必要时打断用户或产生噪声回复,提升多用户混用场景下的体验。
- 离线 RL 微调决策时机:借鉴 GRPO(Group Relative Policy Optimization)在离线对话数据上优化回复策略,无需在线试错,可安全部署到推荐对话系统。
- 数据仿真管线复用:Cocktail-DialogGen 使用 LLM 模拟多角色社交对话,可迁移至电商导购场景,生成带角色、意图标签的多轮混合对话训练数据。
- 语音与文本决策的统一:将语音输入和文本决策统一到一个 LLM 框架,为未来多模态搜索推荐(如语音搜索 + 对话式推荐)的决策层设计提供参考。
RUMBA:面向长期对话记忆的细粒度俄语评估基准
🧭 长期记忆与对话系统诊断评估
DAIMLD
提出多维度诊断性长期记忆基准 RUMBA,涵盖俄语及英文,细粒度分解问题类型以分析记忆机制薄弱点
📌 工作参考价值(4 点)
- 记忆模块评估框架可复用:在构建个性化推荐或客服 Agent 的记忆模块时,直接借鉴 RUMBA 的细粒度提问分类(语义类型、会话范围、时序推理、时间表达明确性),设计针对性测试集,暴露模型在跨 Session 信息整合、偏好更新与遗忘方面的短板。
- 时序推理诊断切片:电商场景中用户偏好随时间变化(如兴趣漂移、短期促销影响),利用基准中的 temporal reasoning 切片,检验模型是否能正确区分陈旧信息与最新意图,优化记忆更新与淘汰策略。
- 多语言对齐下的英语子集可直接利用:论文提供对齐的英语子集,可以立即用于评估现有英语对话推荐系统的长期记忆能力,无需额外标注,快速定位检索与推理瓶颈。
- 记忆机制选型参考:论文对比不同记忆实现(如 KV cache、RAG、上下文打包等)在不同问题切片下的表现,结论可指导在资源与延迟约束下选择更适合电商场景的记忆架构。
CIR 在 iKAT SCAI 2026:探索代理式对话搜索中的澄清需求预测
🧭 代理式对话搜索 · 澄清需求预测
TH Köln
构建代理式对话搜索系统,比较两种澄清需求预测模型在混合主动搜索中的效果
📌 工作参考价值(4 点)
- 代理式架构将检索、重排序、生成等组件工具化,由编排代理统一调度,这种设计可直接复用到对话推荐系统,实现多轮交互中的灵活工具组合与状态管理。
- 澄清需求预测模型可作为对话推荐的关键触发器:在商品属性模糊或用户意图不确定时,主动生成确认性问题(如“您更看重价格还是品牌?”),提升推荐精度与用户体验,尤其适用于高客单价决策场景。
- 采用轻量级 BERT 变体做二分类判断“是否需要澄清”,工程上易于集成进现有搜索/推荐 pipeline,延迟低,可作为强化学习智能体的 reward 信号或规则的前置条件。
- 混合主动(mixed-initiative)模式让系统在必要时介入提问,而非完全被动响应,平衡了自动化与人工干预,可降低推荐冷启动和长尾 query 的失败率。
会话信息访问的个性化与评估方法研究
🧭 会话式信息访问 · 个性化与评估
Radboud Universiteit Nijmegen
从个人上下文提取、个性化回复生成到系统评估,提出 CREL、LAPS 和 FACE 三个方法构建可靠 CIA 系统
📌 工作参考价值(4 点)
- 对话实体链接 (CREL) 可直接用于多轮对话中精准提取用户提及的商品、品牌、偏好等实体,为后续个性化推荐或 Agent 记忆提供结构化上下文,替代简单的 NER 或模糊匹配。
- LAPS 数据集构建方法 提供了低成本生成大规模个性化对话数据的范式,可用于微调电商对话 Agent,使其更自然地融合用户历史与偏好,提升推荐接受率。
- FACE 无参考评估 能自动评估整段对话质量且与人工评分高度一致,可嵌入电商 Agent 的离线评测 pipeline,快速筛选或对比不同回复策略,减少 A/B 测试前的评估成本。
- 整体工作强调 “个人上下文” 在会话式信息访问中的核心地位,启示我们在构建电商导购 Agent 时,需将实体链接、偏好记忆与评估闭环统一设计,而非割裂优化各模块。
SmartWalkCoach:端到端步行指导、激励与反思的AI伴侣
🧭 Agent ★ 深度解读
西安交通利物浦大学
集成路线规划、情境陪伴与总结反思的移动AI伙伴,实证表明动机性对话大幅提升用户积极情感和体验